Y además nos sirve perfectamente para enlazar
con nuestro siguiente panel vinculado a la inteligencia artificial
en el arte y en la y en la ciencia, y donde vamos a tener
dos intervenciones, la primera de ellas vía zoom.
Se trata del personal científico e investigador
de la Universidad de Extremadura.
¿Tenemos la conexión preparada con Mercedes Poletti?
Creo que es así.
Vamos a ver si podemos verla si
vemos su presentación.
No sé si Mercedes nos escucha.
La estoy escuchando. No sé si estoy.
¿Me oyen?
Si le escuchamos y estamos viendo su presentación en Mercedes.
Cuando usted quiera.
Muchísimas gracias por esta oportunidad.
Yo soy Mercedes.
Eugenia Politi Ávila.
Actualmente trabajo en la Universidad de Extremadura,
en el Centro Universitario de Mérida
y soy profesora de los grados de Informática.
Os voy a presentar un poquitín,
que es lo que estamos haciendo, como combinamos
las nuevas tecnologías, en particular la inteligencia artificial
para la conservacin del arte y el patrimonio, en particular en el análisis
de los restos que nos han dejado nuestros predecesores,
nuestros antepasados, mediante imágenes y pre espectrales.
Voy para allá.
Yo pertenezco al grupo de Hyper.
Con este grupo está caracterizado por trabajar con imágenes
hiper espectrales.
Vale, entonces lo que nosotros aplicamos es nuevas tecnologías,
nuevos algoritmos para el análisis de ese tipo de imágenes.
Tenemos 11 investigadores, cuatro líneas de investigación abiertas
y estamos entrando a abrir una más
relacionada con la conservación del patrimonio.
Nos preceden, nos avalan más de 716 publicaciones
y este proyecto se de investigación
por poner un porque tiene un contexto.
¿En cuanto hablamos de las imágenes hiper especiales,
nosotros nos tenemos que preguntar bueno, pues qué es una imagen?
¿Que es una fotografía digital?
Normalmente nosotros
las imágenes que capturamos con nuestros teléfonos móviles,
con estas cámaras fotográficas tienen tres bandas espectrales.
Nosotros conocemos la imagen como si fuera una matriz
que tiene un ancho y un alto y luego tres bandas.
Y en esas tres bandas está recogido la información del color.
En cada una de esas bandas.
Normalmente si tenemos una imagen RGB.
Las típicas
pues tenemos la banda de rojos, la banda de verdes y la banda de azul.
Y con ese estándar nosotros lo que hacemos es sumar
los tres valores para poder crear todos los colores del espectro visible
de lo que nosotros podemos percibir por nuestro ojo.
Existen varios con
varios estándares distintos.
El más utilizado es el Argent.
En cuanto a las imágenes hiper cristales,
siguen el mismo principio de utilizar las bandas de color,
en este caso en vez de utilidad.
Solamente tres bandas están utilizando cientos de bandas.
Aquí tenemos tres tipos de imágenes las RGB normales que capturan
o discreto fijan las bandas del azul, el verde y el rojo,
las multi especiales que tienen de entre
diez y 20 bandas aproximadamente y luego
las hiper espectrales ya desde 50 hasta cientos de bandas.
La imagen lo que esta capturando en cada uno de los píxeles
es información del espectro.
En particular lo damos, nos movemos desde el espectro visible
por el ojo humano hasta el infrarrojo de onda corta.
Así que tenemos un
montón de información que nosotros a simple vista no podemos ver.
Por eso tienen un luego cuando los visualizamos un color
bastante raro y es por la combinación de todas estas bandas de
normalmente
o a lo que estamos acostumbrados es a montar sensores hiper espectrales
en aviones, en avionetas o en satélites, incluso,
y luego captar información de la superficie terrestre.
Tenemos el sensor apuntando a la superficie de la Tierra
y lo que hacemos es capturar por cada área de observación
un cubo muy grande que tiene el espacio capturado
y luego todas las bandas espectrales que puede capturar el sensor.
Así, de tal manera lo que nosotros tenemos es un cubo gigantesco
en el que cada uno de los pixeles está registrando una firma espectral.
Esa firma espectral es única para cada material que se ha capturado.
Así, por ejemplo, podemos tener firmas espectrales de distintos
mate, de distintas materias orgánicas, podemos tener firmas materiales
de objetos o por ejemplo, de asfalto, de tejados.
Todas ellas van a ser distinta, lo cual nos viene muy bien para saber
qué es lo que está componiendo la escena, qué materiales hay,
si hay una carretera, podemos extraer la información.
Hay una carretera gracias a la firma espectral de asfalto.
Si hay un cultivo, podemos extraer información de ese tipo de cultivo
e incluso ver en que grado de madurez está,
por ejemplo, si está listo para recogerse o si tiene este hídrico
y necesita más agua, o si está afectado por alguna plaga.
En Extremadura, por ejemplo, hace bastante tiempo
estamos intentando implantar las imágenes y espectrales
para analizar el problema de la seca de la encina
y se ve perfectamente como una encina sana.
Tiene una forma espectral y luego una encina afectada por la seca.
La firma varía.
En este sentido,
el modo de procesar es bastante estándar.
Siempre hacemos lo mismo.
Nosotros vamos a tomar la imagen y por espectral nuestro cubo de datos
y lo vamos a meter
en una, en un, en un procedimiento, en un algoritmo.
Normalmente lo que hacemos tradicionalmente de los 90,
desde los 80 90,
siempre ha sido utilizar algoritmos de reconocimiento de patrones
a partir de los 80
ya evolucionan los algoritmos y empezamos a hablar de divide
y empezamos a hablar de redes neuronales.
Pero no empieza a ser hasta el 2016.
Cuando hablamos verdaderamente de redes neuronales muy profundas.
Y es aquí donde nosotros, nuestra investigación está más enmarcada
en las redes neuronales profundas, lo que llamamos el deep learning.
Pero también podemos aplicar
algoritmos tradicionales que se vienen utilizando desde hace siglos.
Por ejemplo, el camino es uno de los más de los más conocidos.
El caso es que nosotros metemos esa información en nuestro algoritmo
y lo que va a hacer
va a ser, por ejemplo, proporcionarnos una clasificación del terreno
y nos va a decir bueno, pues todo esto es un cultivo de alfalfa.
Por ejemplo, aquí tenemos hierbas, aquí
tenemos un trocito de de árboles, por ejemplo,
y podemos sacar la información que está contenida en esa imagen.
Al final, con esa información podemos crear
mapas bastante complejos
de cómo están relacionados todos los cultivos,
de qué es lo que les está pasando y poder.
Por ejemplo, aquí en Griffin Technologies, que es una empresa
en la que trabaja uno de nuestros investigadores,
desarrollar aplicaciones para poder, por ejemplo,
monitorizar nuestros cultivos si necesitan agua, poder
encender el riego, etcétera.
En cuanto a la inteligencia artificial, en el fondo,
lo que nosotros más utilizamos son las redes neuronales profundas.
Por ejemplo, esto es un tipo de red neuronal en la cápsula
y no deja de ser una una caja negra, una caja negra que tú programes.
No sabes muy bien como funciona, lo que sí es que le metes los datos
y por dentro ella va a ir ajustando todo su parámetros.
Todo esto de aquí son parámetros que tiene para ir diciendo bueno,
pues este es el que más pasado va a ser de tipo alfalfa
y te devuelve el resultado.
En el fondo
son máquinas, son algoritmos bastante costoso,
necesitan un grado
y un gran soporte hardware en el sentido de necesita.
Por ejemplo, aceleradores, necesitan GPU, consumen bastante.
Y ahora lo que tenemos nosotros, el y la
el siguiente reto hacer es desarrollar estas mismas arquitecturas,
pero que no cuesten tanto, que sean eco friendly, lo que llaman ahora
arquitecturas verdes
que no consumen tanto, que no requieran tantos parámetros
y que nos den la misma información y que tengan el mismo resultado.
Así que por una parte tenemos la inteligencia artificial,
que es la que nos va a ayudar a procesar la información.
Y luego tenemos, por otra parte, las imágenes hiper espectrales
que lo que vienen a decirnos o a darnos
esa información de lo que nuestro ojo no puede ver a simple vista.
Nosotros vemos aquí simplemente una malla de
de materia orgánica, lo vemos como si fueran trozos de corteza.
Pasado el filtro de perpetrar el pasado, luego el procesamiento
con imágenes y con redes neuronales, podemos detectar perfectamente
en cada uno de los píxeles objetos que no son orgánicos.
Por ejemplo, tenemos plástico, tenemos metal
que se implementan, no lo podemos ver.
Esto es muy útil porque la imagen interpreta.
Al final lo que nos está dando es la composición química de los materiales.
¿Entonces, uniendo estas dos cosas, la inteligencia artificial,
es decir, las redes neuronales y las imágenes hiper espectrales,
cómo podemos aplicarlo nosotros al campo de las humanidades,
en particular al arte y a la conservación del patrimonio
principalmente?
Nosotros dimos la respuesta.
Sentamos en el color,
ya que las imágenes perfectas de no dar un espectro enorme, muchísimo
información, nos dan la composición química de cada uno de los píxeles.
Vamos a utilizar esa información para analizar el color de los objetos.
Entonces lo que vamos a hacer
es capturar imágenes de los objetos de interés y analizar
qué color tenían, qué pigmentos estaban utilizándose.
Como bien sabemos, el color en la cultura
transmite una serie de conceptos.
Las clases altas de Roma, por ejemplo, vestían con ciertos colores,
mientras que las clases bajas vestían con otros.
Así que una representación de alguna diosa
que tenga un determinado color, ese color va a significar algo,
va a tener un significado en sí mismo.
Este sentido muchas veces nos enfrentamos al problema de qué
pasa si no hay color en el monumento que estamos analizando,
en la escultura, en el museo, como perdido, por ejemplo, o en el fresco.
Si se ha perdido el color,
lo que está pasando es que hemos perdido una valiosa
fuente de información que sería deseable recuperarla.
Para eso nosotros vamos a analizar el espectro de cada uno de los píxeles
para poder recuperar ese color.
Así que este fue nuestro principal, nuestra principal idea que se presentó
al a las becas de la Red Leonardo de la Fundación BBVA.
Nosotros presentamos
el proyecto Restauración del Color en el Arte Clásico Romano
mediante imagen
interpretar para analizar, por ejemplo,
las esculturas que teníamos aquí en el Museo de Mérida, el Museo Romano
de Mérida.
La metodología fue
bastante sencilla, simplemente era seguir estos pasos.
Lo primero de todo era generarse una base de datos
con todas las firmas espectrales de los pigmentos de interés.
Por ejemplo, los romanos utilizaban un tipo especial de azul
que estaba sacado de una concha, pues sacar
la firma espectral de ese pigmento
una vez que teníamos la firma espectral.
También existen librerías de firmas especiales.
Podíamos comparar y cotejar las firmas
para poder comprobar que no nos habíamos confundido con la captura.
Luego, después de eso, teníamos que generar una base de datos
con las imágenes y poder que está desde los objetos a analizar.
Así, mi compañero Juan Mario AT, que fue
el líder de de este proyecto,
se fue al Museo de Mérida con su cámara espectral
y nos dejaron capturar varias imágenes sobre distintos objetos.
Aquí tenemos una pequeña muestra.
Se capturó más sobre frescos y sobre y sobre mosaicos,
y lo que hacemos es meterle una
una pantallita blanca para poder normalizar la firma,
para que luego la cámara pueda coger firmes, que estén normalizadas
y nos sirvan
para comparar con nuestra base de datos de firmas, de pigmentos.
Una vez que tenemos eso, el objetivo es entonces
relacionar cada uno de los píxeles que tenemos en nuestra imagen
con las firmas espectrales de los pigmentos que hemos recogido.
De tal manera que si cogemos, por muy pequeña
que sea una firma que sea parecida a la de azul cobalto,
imaginemos cual la de azul, podemos determinar que en ese papel,
ese píxel, en esa zona del monumento o esa zona del objeto,
estaba pintada azul.
Al final lo que hacemos es recuperar el color.
Tenemos lo que nos produce un mapa de pigmentos
por cada píxel que está capturado en la imagen
de ese píxel.
Al final, lo que podemos extraer es un mapa y podemos decir
bueno, pues el objeto estaba pintado de esta manera.
Así nosotros lo que hacemos es tomar nuestra base
de datos de imágenes y nuestra base de datos de firmas
de pigmentos, y lo que hacemos es meterlo a procesar
en el mecanismo, en la web de procesamiento, bien
con mecanismos tradicionales que se llevan usando desde el siglo 18
o con una vez que ya empezaron analizarse
y a implementarse desde los años 80 y que desde el 2016
se han ido perfeccionando hasta lo que ahora tenemos, como
por ejemplo el chatbot que no deja de ser una red neuronal
un poquitín más, más elaborada, lo que se llama ahora Transformers.
Y al final lo que tenemos después de ese procesamiento
es nuestra imagen coloreada.
Nosotros hemos hecho varias etapas.
En la primera etapa lo que hemos hecho ha sido dividir el espectro
para poder sacar los distintos pigmentos que están ahí.
Y entonces el primer resultado ha sido esto los hemos creado una aplicación
en el que nosotros, con la imagen o que hemos capturado,
recortamos el trocito de interés y analizamos a ver qué
es lo que hay ahí dentro.
Entonces le aplicamos varios algoritmos.
Por ejemplo, en imagen hipertextual tenemos algoritmos de clasificación
para saber qué es lo que hay en cada píxel, algoritmos de un mixing
para saber los materiales que componen cada píxel.
Normalmente en un píxel hay varios materiales.
Por ejemplo, imaginemos que el píxel ocupa todo esto,
estaríamos cogiendo material de este pigmento y el pigmento naranja.
Entonces aquí estamos viendo precisamente ese diez mezclado
que estamos haciendo.
¿Estamos viendo aquí esta firma, vale?
Seleccionando un puzzle de la imagen.
Y aquí estamos viendo otra firma, seleccionando otro piso de la imagen.
Con eso podemos ver la composición de cada uno de los píxeles
y a partir de ahí nosotros haríamos la y la relación con los pigmentos
que tenemos nuestra base de datos y podríamos colorear la imagen.
Estamos ahora en esa fase de desarrollo.
Podría realizar el renderizado con el color
y cuando lo tengamos, pues lo presentaremos.
Entonces, en este sentido,
por ejemplo, aquí tenemos el píxel, ese es el que hemos estado analizando
y ahí es el que tenemos las firmas que hemos capturado.
En este sentido, la la inteligencia artificial
y el uso de nuevas tecnologías, como por ejemplo
el espectrómetro de la tecnología de las imágenes especiales, nos sirven
en el campo humanístico precisamente para conservación del patrimonio
o incluso para entender un poco más como está dado o o tener una visión
un poquitín más amplia de cómo eran nuestros antepasados.
Y hasta aquí termino mi
mi ponente. Muchísimas gracias.